We study the problem of retrieval with instructions, where users of a retrieval system explicitly describe their intent along with their queries. We aim to develop a general-purpose task-aware retrieval system using multi-task instruction tuning, which can follow human-written instructions to find the best documents for a given query. We introduce the first large-scale collection of approximately 40 retrieval datasets with instructions, BERRI, and present TART, a multi-task retrieval system trained on BERRI with instructions. TART shows strong capabilities to adapt to a new retrieval task via instructions and advances the state of the art on two zero-shot retrieval benchmarks, BEIR and LOTTE, outperforming models up to three times larger. We further introduce a new evaluation setup, X^2-Retrieval to better reflect real-world scenarios, where diverse domains and tasks are pooled and a system needs to find documents aligning users' intents. In this setup, TART significantly outperforms competitive baselines, further demonstrating the effectiveness of guiding retrieval with instructions.
translated by 谷歌翻译
迄今为止对文本生成的评估主要集中在依次创建的内容上，而不是对文本的改进。但是，写作自然是一个迭代和增量过程，需要在不同的模块化技能上进行专业知识，例如修复过时的信息或使样式更加一致。即便如此，对模型执行这些技能和编辑能力的模型能力的全面评估仍然很少。这项工作介绍了EditeVal：基于指导的，基准和评估套件，该套件利用现有的现有和新数据集自动评估编辑功能，例如使文本更具凝聚力和释义。我们评估了几种预训练的模型，这表明指令和同伴表现最好，但是大多数基准都落在监督的SOTA以下，尤其是在中和和更新信息时。我们的分析还表明，用于编辑任务的常用指标并不总是很好地关联，并且对具有最高性能的提示的优化并不一定带来对不同模型的最强鲁棒性。通过发布此基准和公开可用的排行榜挑战，我们希望在开发能够迭代和更可控制的编辑模型中解锁未来的研究。
translated by 谷歌翻译
文本内容通常是协作写作过程的输出：我们从初始草稿开始，提出建议并反复进行更改。不可知的是，当今的语言模型只能产生最终结果。结果，他们缺乏对协作写作至关重要的几种能力：他们无法更新现有文本，难以控制和无法进行口头计划或解释其行为。为了解决这些缺点，我们介绍了Peer，这是一种协作语言模型，经过训练以模仿整个写作过程本身：Peer可以编写草稿，添加建议，提出编辑并为其行为提供解释。至关重要的是，我们训练多个同伴能够填补写作过程的各个部分的实例，从而可以使用自训练技术来提高培训数据的质量，数量和多样性。这通过使其适用于没有编辑历史的域，并提高其遵循说明，编写有用的评论并解释其动作的能力，从而释放了Peer的全部潜力。我们表明，同行在各个领域和编辑任务上取得了强大的性能。
translated by 谷歌翻译
大型语言模型在各种任务上显示出令人印象深刻的几次结果。但是，当知识是此类结果的关键时，就像问题回答和事实检查之类的任务一样，似乎需要存储知识的大量参数计数。众所周知，检索增强模型可以在不需要多个参数的情况下在知识密集的任务上表现出色，但是目前尚不清楚它们是否在几个弹药设置中工作。在这项工作中，我们介绍了地图集，这是一个经过精心设计和预先训练的增强语言模型，能够通过很少的培训示例学习知识密集型任务。我们对包括MMLU，苏格兰短裙和归类等各种任务进行评估，并研究文档索引内容的影响，表明它可以很容易地进行更新。值得注意的是，在自然问题上仅使用64个示例在自然问题上达到超过42 \％的准确性，尽管参数少了50倍，但比540B参数模型的表现优于540b参数模型。
translated by 谷歌翻译
基于分解的模型（FMS），例如Distmult，在知识图完成（KGC）任务中享有持久的成功，通常优于图形神经网络（GNNS）。但是，与GNN不同，FMS难以合并节点特征并概括在归纳环境中看不见的节点。我们的工作通过提出重构GNN来弥合FMS和GNN之间的差距。这种新的体系结构借鉴了两种建模范式，以前在很大程度上被认为是不结合的。具体地说，使用消息通讯的形式主义，我们通过将梯度下降程序重新定义为消息传播操作来展示如何将FMS施加为GNN，这构成了我们重构GNN的基础。在众多成熟的KGC基准测试中，我们的重构GNN可以实现与FMS相当的转导性能以及最先进的归纳性能，同时使用较少的参数阶数。
translated by 谷歌翻译
为了解决现实世界应用需求的日益增长，知识密集型NLP（KI-NLP）的研究应通过捕获真正开放域环境的挑战：网络规模知识，结构缺乏，质量不一致，和噪音。为此，我们提出了一种新的设置，用于评估现有的KI-NLP任务，其中我们将背景语料库概括为通用Web快照。我们重新保证Kilt，最初为维基百科最初开发的标准Ki-NLP基准测试，并要求系统使用CCNet的子集 - 球体语料库 - 作为知识源。与维基百科相比，球体是较大的数量级，更好地反映了互联网上的全部知识。我们发现，尽管潜在的覆盖范围，规模挑战，结构缺乏，质量较低，来自领域的检索可以实现最先进的检索系统，以匹配和甚至优于基于Wikipedia的模型在几个kilt上任务 - 即使我们积极过滤看起来像维基百科的内容。我们还观察到Wikipedia的单一密集通道指数可以胜过稀疏的BM25版本，而在球体上尚不实现。为了促进进一步研究该领域，并尽量减少社区对专有黑匣子搜索引擎的依赖，我们将分享我们的指数，评估指标和基础设施。
translated by 谷歌翻译
信息检索是自然语言处理中的重要组成部分，用于知识密集型任务，如问题应答和事实检查。最近，信息检索已经看到基于神经网络的密集检索器的出现，作为基于术语频率的典型稀疏方法的替代方案。这些模型在数据集和任务中获得了最先进的结果，其中提供了大型训练集。但是，它们不会很好地转移到没有培训数据的新域或应用程序，并且通常因未经监督的术语 - 频率方法（例如BM25）的术语频率方法而言。因此，自然问题是如果没有监督，是否有可能训练密集的索取。在这项工作中，我们探讨了对比学习的限制，作为培训无人监督的密集检索的一种方式，并表明它导致强烈的检索性能。更确切地说，我们在15个数据集中出现了我们的模型胜过BM25的Beir基准测试。此外，当有几千例的示例可用时，我们显示微调我们的模型，与BM25相比，这些模型导致强大的改进。最后，当在MS-Marco数据集上微调之前用作预训练时，我们的技术在Beir基准上获得最先进的结果。
translated by 谷歌翻译
在动态对抗数据收集（DADC）中，人类的注释者是任务的，找到模型努力预测的示例。已经显示出在达克收集的训练数据上培训的模型在对抗和域外设置方面更加强大，并且对于人类来说更难愚弄。然而，DADC比传统数据收集更耗时，因此每个示例更昂贵。在这项工作中，我们检查我们是否可以保持DADC的优势，而不会遭受额外的成本。为此，我们引入了生成的注释助理（GaAs），生成的循环模型，提供了注释器完全批准，修改或拒绝的实时建议。我们在20个实验设置中收集培训数据集，并对这种方法进行详细分析，用于标准和对冲数据收集的提取问题应答（QA）的任务。我们展示了GaAs在注释速度方面提供了显着的效率效益，同时导致改善模型愚蠢的速率。此外，我们还表明，GaA辅助数据在回答任务的各种问题上导致更高的下游模型性能。
translated by 谷歌翻译
我们提出了Drboost，一个受升压启发的密集检索合奏。Drboost在阶段接受培训：通过仅关注当前合奏制作的检索错误来依次学习和专注于每个组件模型。最终的表示是所有组件模型的输出矢量的串联，使其成为测试时间标准密集检索器的替代品。与标准密集检索模型相比，Drboost享有几个优点。它产生的表示是4x更紧凑，同时提供可比的检索结果。它还在具有粗量化的近似搜索下进行令人惊讶的良好，从而减少另一个4x的延迟和带宽需求。在实践中，这可以在从内存中服务索引之间的服务指数之间的区别，为更便宜的部署铺平道路。
translated by 谷歌翻译
最近的开放式域问题回答表明，新颖的测试问题之间的模型性能和那些在很大程度上与培训问题重叠的模型性能存在很大差异。然而，目前尚不清楚新颖的问题的哪些方面使他们成为挑战。在进行系统泛化的研究时，我们根据三个类别介绍和注释问题，这些类别测量了不同的水平和概括的种类：培训设定重叠，组成泛化（Comp-Gen）和新颖的实体概括（新实体）。在评估六个流行的参数和非参数模型时，我们发现，对于既定的自然问题和TriviaQA数据集，即使是Comp-Gen /新颖实体的最强的模型性能也是13.1 / 5.4％和9.6 / 1.5％，而与此相比降低对于完整的测试集 - 表示这些类型的问题所带来的挑战。此外，我们表明，虽然非参数模型可以相对良好地处理含有新颖实体的问题，但它们与那些需要组成泛化的问题斗争。最后，我们发现关键问题是：来自检索组件的级联错误，问题模式的频率和实体的频率。
translated by 谷歌翻译